深度学习的成功归功于我们能够相对轻松地解决某些大规模的非凸优化问题。尽管非凸优化是NP硬化，但简单的算法（通常是随机梯度下降的变体）在拟合大型神经网络的实践中具有令人惊讶的有效性。我们认为，在考虑了所有可能的隐藏单元对称对称性之后，神经网络损失景观包含（几乎）一个盆地。我们介绍了三种算法以缩小一个模型的单元，以使它们与参考模型的单位保持一致。这种转换产生了一组功能等效的权重，该权重位于参考模型附近的大约凸盆地中。在实验上，我们证明了各种模型架构和数据集中的单个盆地现象，包括在CIFAR-10和CIFAR-100上独立训练的Resnet模型之间的第一个（据我们所知）的（据我们所知）的第一次演示。此外，我们确定了有趣的现象，将模型宽度和训练时间与各种模型和数据集的模式连接性有关。最后，我们讨论了单个盆地理论的缺点，包括对线性模式连接假设的反例。

我们介绍了基于目标观点的线性和二次近似值的非线性控制算法的实现。我们提出了一种梯度下降，一种高斯 - 纽顿方法，一种牛顿方法，具有线性二次或二次近似值的差分动态编程方法，各种线路搜索策略以及这些算法的正则变体。我们在可区分的编程框架中得出所有算法的计算复杂性，并提出足够的最佳条件。我们比较了几个基准的算法，例如使用汽车的自行车模型进行自动驾驶。该算法用公开可用的软件包中的可区分编程语言进行编码。

在家庭环境中的机器人辅助喂养是具有挑战性的，因为它需要机器人来产生轨迹，从而有效地将不同形状的食物带入口腔，同时确保用户舒适。我们的主要洞察力是，为了解决这一挑战，机器人必须平衡喂食食品的效率，舒适的每一件咬。我们将舒适性和效率正式纳入运动规划。我们提出了一种基于启发式导向的双向探索随机树（H-BIRRT）的方法，可以使用我们发达的咬合效率和舒适启发式和学习的约束模型选择任意食品几何形状和形状的咬合转移轨迹。实际机器人评估表明，优化舒适性和效率显着优于基于固定姿势的方法，并且用户更优选我们的方法，比仅最大限度地提高用户舒适度的方法。视频和附录在我们的网站上找到：https://sites.google.com/view/comfortbitetransfer-icra22/home。

有效可靠的全局路径计划是为了安全执行和部署自主系统。为了产生充分解决给定环境的拓扑的规划图，许多基于样的运动规划师度假胜地，粗略的启发式驱动的策略，这些策略通常不能概括到新的和各种各样的环境。此外，许多这些方法不设计用于抗争于偏心性。我们在环境几何中的这种不确定性实际上可以帮助\ Texit {Drive}在生成可行的采样过程和概率 - 安全规划图中。我们提出了一种概率路线图的方法，其依赖于基于粒子的变分推理，以有效地覆盖配置空间中可行区域的后部分布。我们的方法，Stein变分概率路线图（SV-PRM）导致样品有效地产生规划图和传统采样方法的大量改进。我们展示了各种具有挑战性的规划问题的方法，包括机器人中常见的现实概率占用地图和高速控制问题。

灵巧的操纵仍然是机器人技术中的一个空缺问题。为了协调研究界为解决这个问题的努力，我们提出了共同的基准。我们设计和构建了机器人平台，该平台托管在MPI上供智能系统托管，可以远程访问。每个平台由三个能够敏捷物体操纵的机器人手指组成。用户能够通过提交自动执行的代码（类似于计算群集）来远程控制平台。使用此设置，i）我们举办机器人竞赛，来自世界任何地方的团队访问我们的平台以应对具有挑战性的任务ii）我们发布了在这些比赛中收集的数据集（包括数百个机器人小时），而我们为研究人员提供了访问自己项目的这些平台。

我们专注于拥挤环境中的机器人导航。预测机器人周围人群的运动的挑战使得难以确保人类的安全和舒适。最近的方法通常采用端到端技术来进行机器人控制或深层体系结构，以进行高保真的人类运动预测。尽管这些方法在模拟域中获得了重要的性能基准，但数据集限制和较高的样本复杂性倾向于阻止它们转移到现实世界中。我们的关键见解是，捕获人群动力学的关键特征的低维表示可能足以使机器人能够平稳地绕过人群。为此，我们使用拓扑不变性的概念将数学上的行为正式化了两种代理作为旋转的行为。基于这种形式主义，我们设计了一个成本功能，有利于机器人轨迹促进更高的传球进展，并惩罚人之间不同方面的切换。我们将此功能纳入模型预测控制器中，该模型使用了人类运动预测的简单恒定速度模型。这导致机器人运动在统计学上与最先进的基线相比，在统计学上，在统计学上取得了显着更高的清除，同时保持竞争性效率水平，跨越广泛的模拟以及在自动平衡机器人上的现实世界实验。

Dexterous操作是机器人中的一个具有挑战性和重要问题。虽然数据驱动方法是一个有希望的方法，但由于流行方法的样本效率低，当前基准测试需要模拟或广泛的工程支持。我们为Trifinger系统提供基准，这是一个开源机器人平台，用于灵巧操纵和2020年真正的机器人挑战的重点。在挑战中取得成功的基准方法可以一般被描述为结构性政策，因为它们结合了经典机器人和现代政策优化的元素。这种诱导偏差的包含促进样品效率，可解释性，可靠性和高性能。该基准测试的关键方面是验证跨模拟和实际系统的基线，对每个解决方案的核心特征进行彻底消融研究，以及作为操纵基准的挑战的回顾性分析。本工作的代码和演示视频可以在我们的网站上找到（https://sites.google.com/view/benchmark-rrc）。

Knowledge graph (KG) link prediction aims to infer new facts based on existing facts in the KG. Recent studies have shown that using the graph neighborhood of a node via graph neural networks (GNNs) provides more useful information compared to just using the query information. Conventional GNNs for KG link prediction follow the standard message-passing paradigm on the entire KG, which leads to over-smoothing of representations and also limits their scalability. On a large scale, it becomes computationally expensive to aggregate useful information from the entire KG for inference. To address the limitations of existing KG link prediction frameworks, we propose a novel retrieve-and-read framework, which first retrieves a relevant subgraph context for the query and then jointly reasons over the context and the query with a high-capacity reader. As part of our exemplar instantiation for the new framework, we propose a novel Transformer-based GNN as the reader, which incorporates graph-based attention structure and cross-attention between query and context for deep fusion. This design enables the model to focus on salient context information relevant to the query. Empirical results on two standard KG link prediction datasets demonstrate the competitive performance of the proposed method.

Individual-level data (microdata) that characterizes a population, is essential for studying many real-world problems. However, acquiring such data is not straightforward due to cost and privacy constraints, and access is often limited to aggregated data (macro data) sources. In this study, we examine synthetic data generation as a tool to extrapolate difficult-to-obtain high-resolution data by combining information from multiple easier-to-obtain lower-resolution data sources. In particular, we introduce a framework that uses a combination of univariate and multivariate frequency tables from a given target geographical location in combination with frequency tables from other auxiliary locations to generate synthetic microdata for individuals in the target location. Our method combines the estimation of a dependency graph and conditional probabilities from the target location with the use of a Gaussian copula to leverage the available information from the auxiliary locations. We perform extensive testing on two real-world datasets and demonstrate that our approach outperforms prior approaches in preserving the overall dependency structure of the data while also satisfying the constraints defined on the different variables.

Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data. We find that instruction finetuning with the above aspects dramatically improves performance on a variety of model classes (PaLM, T5, U-PaLM), prompting setups (zero-shot, few-shot, CoT), and evaluation benchmarks (MMLU, BBH, TyDiQA, MGSM, open-ended generation). For instance, Flan-PaLM 540B instruction-finetuned on 1.8K tasks outperforms PALM 540B by a large margin (+9.4% on average). Flan-PaLM 540B achieves state-of-the-art performance on several benchmarks, such as 75.2% on five-shot MMLU. We also publicly release Flan-T5 checkpoints, which achieve strong few-shot performance even compared to much larger models, such as PaLM 62B. Overall, instruction finetuning is a general method for improving the performance and usability of pretrained language models.